Análisis psicométrico de las preguntas repetidas en los simulacros de la prueba MIR / Psychometric analysis of the questions repeated in the MIR test mockups

Introducción: El presente trabajo analiza 13 preguntas que se repitieron dos veces en distintas pruebas que simulan el examen MIR, separadas en el tiempo entre dos y 15 semanas. A partir de los resultados obtenidos, se ha analizado el proceso de aprendizaje de los estudiantes que se preparan para la prueba MIR.Material y métodos.Para el presente estudio se hizo uso de una base de datos formada por un total de 2.600 preguntas respondidas en promedio por 1.585 alumnos de características relativamente homogéneas.Resultados.En general, resulta posible afirmar que entre la primera y la segunda exposición de los alumnos a la misma pregunta se produjo una mejora de los índices analizados. De los resultados obtenidos, se observa que, en promedio, a lo largo de la preparación, la dificultad de las preguntas para el grupo de estudiantes se reduce a la mitad. En lo referente al índice de discriminación, éste se incrementa cerca del 60%, lo que supone que, según transcurre la preparación, aumenta la proporción de personas que aciertan la pregunta en el grupo fuerte con respecto a las que la aciertan en el grupo débil. Finalmente, también se produce una mejora en el valor del coeficiente de correlación biserial puntual, lo que supone una mejora de la capacidad discriminativa de las preguntas.Conclusiones.Según transcurre la preparación, las preguntas analizadas se vuelven más fáciles y más discriminativas. Además, se observa cómo no todos los alumnos consiguen el mismo aprovechamiento del proceso de aprendizaje. (AU)

Introduction: The present work analyses 13 questions that were repeated twice in different tests that simulate the MIR exam, separated in time between 2 and 15 weeks. From the results obtained, the learning process of the students preparing for the MIR test has been analysed.Material and methods.For the present study, a database made up of a total of 2,600 questions which were answered on average by 1,585 students with relatively homogeneous characteristics was employed.Results.In general, it is possible to affirm that between the first and second exposure of the students to the same question there was an improvement in the indexes analysed. From the results obtained, it is observed that, on average, throughout the preparation, the difficulty of the questions for the group of students is reduced by half. Regarding the discrimination index, this increases by about 60%, which means that as the preparation progresses, the proportion of people who get the question right in the strong group increases with respect to those who get it right in the weak group. Finally, there is also an improvement in the value of the biserial point correlation coefficient, which implies an improvement in the discriminative capacity of the questions.Conclusions.As the preparation progresses, the analysed questions become easier and discriminating. In addition, it is observed how not all students obtained the same performance. (AU)

Evolución de los parámetros dificultad y discriminación en el ejercicio de examen MIR. Análisis de las convocatorias de 2009 a 2017 / Evolution of the difficulty and discrimination of the MIR test in recent years. A study of the calls since 2009 to 2017

Introducción: En España, el procedimiento reglado de acceso a la formación médica especializada tipo MIR exige la superación de un examen. El examen es un ejercicio tipo test de respuesta múltiple. Superado éste, se bareman los méritos académicos previos de los aspirantes. La ponderación de ambos valores permite sumarlos y ordenar a los aspirantes por su puntuación total. Los aspirantes tienen la oportunidad de elegir especialidad y centro de formación en función del número de orden obtenido. Sujetos y métodos: La base de datos utilizada en el presente trabajo contiene las respuestas de un total de 23.809 candidatos presentados a los exámenes MIR de las convocatorias comprendidas entre 2009 y 2017. La información disponible se analizó utilizando el índice de dificultad, índice de dificultad con corrección de los efectos del azar, índice de discriminación e índice de correlación puntual biserial, y las dificultades y discriminaciones se calcularon usando el modelo de dos parámetros de la teoría de respuesta al ítem. Resultados: Los resultados obtenidos en la serie temporal analizada permiten afirmar que la dificultad del examen ha disminuido en las tres últimas convocatorias. Además, la discriminación alcanza el valor mínimo en la convocatoria de 2016. Conclusiones: Dado el incremento en los últimos años del número de médicos españoles recién graduados que se presentan al examen, sería deseable mejorar la calidad psicométrica de las preguntas con el fin de que resulten al menos de la misma calidad como lo eran en los exámenes de convocatorias previas. La inclusión, por parte de la comisión calificadora, de criterios psicométricos de anulación de preguntas ayudaría a conseguir este objetivo

Introduction: In Spain, the regulated procedures of specialized medical training impose the passing of the MIR test. After this, the candidates choose the preferred specialty according to the order number obtained. The order number depends on the score of the applicant in the MIR exam and their academic record. Subjects and methods: The database used in the present research contains the responses of a total of 23,809 candidates submitted to the MIR exams since 2009 to 2017. The available information was analyzed using the difficulty index, difficulty index with correction of random effects, discrimination index, biserial point correlation index, as well as the difficulties and discriminations calculated using a two parameters model of the Item Response Theory. Results: The results obtained let us to say that the difficulty of the MIR test has decreased in the last three calls. In addition, the discrimination reaches the minimum value of the time series in the 2016 MIR test. Conclusions: Given the increase in recent years in the number of recently graduated Spanish doctors who take the MIR exam, it would be desirable to try to improve the psychometric quality of the questions in order to be at least as discriminative as the tests of previous calls. The inclusion by the committee of psychometric criteria of cancellation of questions would help achieve this objective

Propuesta metodológica para la detección de preguntas susceptibles de anulación en la prueba MIR. Aplicación a las convocatorias 2010 a 2015 / A methodological proposal for questions that would be withdrawn from the MIR test. Applied to the exams from 2010 to 2015

Introducción. El Ministerio de Sanidad, Servicios Sociales e Igualdad de España convoca anualmente el examen de acceso a la formación sanitaria especializada. La comisión calificadora de esta prueba es la encargada de aprobar el cuaderno de preguntas de examen e invalidar las preguntas que considere improcedentes. El presente trabajo propone una metodología de ayuda a la detección de preguntas susceptibles de anulación basándose en métricas de la teoría clásica de los test y de la teoría de respuesta al ítem. Sujetos y métodos. Para la realización del presente trabajo se usaron las respuestas a las preguntas del examen MIR de muestras de un total de 13.984 examinados de las convocatorias comprendidas entre 2010 y 2015. Resultados. Se obtuvieron 26 preguntas que, sin haber sido anuladas, serían susceptibles de serlo en función de los valores obtenidos de sus coeficientes de correlación biserial puntual y de discriminación en el modelo logístico de dos parámetros. Conclusiones. Existe una serie de preguntas que no son anuladas y cuya pobre calidad psicométrica empeora ligeramente la calidad global de la prueba MIR. Dado que esta prueba se realiza con el fin de ordenar en función de sus conocimientos a los médicos que desean acceder a una plaza de formación especializada, desde el punto de vista de los autores, sería recomendable que la comisión calificadora anulase todas las preguntas que presentan una mala calidad psicométrica, aun a costa de que el número final de preguntas válidas fuera ligeramente inferior a 225 (AU)

Introduction. Every year, the Spanish Ministry of Health, Social Services and Equality convenes the examination for access to specialized medical health training. The Qualification Commission of the exam is responsible for approving the test questionnaire and withdrawing the questions they consider to be inappropriate. The present work proposes a methodology to help detect questions that might be withdrawn based on the metrics of the Classical Test Theory and the Item Response Theory. Subjects and methods. For the accomplishment of the present work, the answers given by a total of 13,984 examinees to the questions of the MIR exam have been analyzed, using the exams between 2010 and 2015. Results. The authors propose the removal of 26 questions which, whilst not having been withdrawn by the Qualification Commission, would be susceptible to withdrawal based on the values of their point-biserial correlation coefficients and on discrimination in the two-parameter logistical model. Conclusions. There are a number of questions that have not been withdrawn whose poor psychometric quality slightly reduces the overall quality of the MIR test. Given that this test is done in order to classify physicians who want to gain a specialized training place, from the authors’ point of view it would be advisable for the Qualification Commission to withdraw all questions that present poor psychometric quality, even at the cost of making the final number of valid questions slightly fewer than 225 (AU)

El examen MIR 2015 desde el punto de vista de la teoría de respuesta al ítem / MIR 2015 exam from the point of view of the item response theory

Introducción: En España, el acceso a la formación médica especializada, imprescindible para ejercer como médico especialista, se realiza a través de la prueba MIR. Superada esta prueba, los aspirantes pueden acceder a la formación en distintas especialidades ofertadas por numerosos hospitales a lo largo de todo el país. Sujetos y métodos: Para este trabajo se han utilizado las respuestas al examen MIR 2015 de un conjunto de 3.712 aspirantes. Resultados: Se calcularon los índices de dificultad y discriminación de todas las preguntas del examen. Las preguntas se analizaron según los valores de dichos índices y se agruparon por asignaturas, bloques y tipos de pregunta. Las preguntas con una mayor dificultad media fueron las pertenecientes a las asignaturas de fisiología, farmacología, geriatría, traumatología, neurología y cuidados paliativos. Las asignaturas cuyas preguntas mostraron valores menores de dificultad media fueron anatomía patológica, anestesiología, cirugía plástica, habilidades comunicativas, genética y enfermedades infecciosas. Conclusiones: En general, los valores de dificultad y discriminación de las preguntas de la prueba MIR resultan adecuados. La prueba discrimina mejor a los alumnos que demuestran conocimientos más bajos, y el valor óptimo de discriminación se encuentra en torno al percentil 25 de la muestra analizada (con una puntuación equivalente al percentil 41 de todos los médicos presentados al examen MIR 2015). Finalmente, se propone el uso de las metodologías propias de la teoría de respuesta al ítem con el fin de evaluar las preguntas de la prueba candidatas a ser anuladas

Introduction: In Spain, in order to gain access to specialised medical training it is mandatory to take the MIR exam. After passing said exam, the candidates can access training in different hospitals all around the country. Subjects and methods: This research was made using a database of the answers of 3,712 candidates who took the 2015 MIR exam. Results: The difficulty and discrimination index of all the questions in the exam were calculated. All the questions were analysed, taking into account the values of those parameters and classified by subject, block and kind of question. On average, those questions that were found to be most difficult correspond to the following subjects: physiology, pharmacology, geriatrics, traumatology, neurology and palliative care. The subjects with the least average difficulty were anatomical pathology, anaesthesiology, plastic surgery, communication skills, genetics and infectious diseases. Conclusions: Overall, the discrimination and difficulty values of the questions in the MIR exam are sufficient. The exam is more discriminatory for those students with the lowest discrimination levels, with percentile 25 having the highest levels. Finally, we propose that item response theory be employed as a support tool in order to decide which exam questions would be nullified

El examen al examen MIR 2015. Aproximación a la validez estructural a través de la teoría clásica de los tests / Examination of the MIR exam. An approach to the structural validity through the classical test theory

Introducción: En España, para ejercer como médico especialista se requiere poseer la titulación de la correspondiente especialidad médica. Los procedimientos reglados de formación médica especializada imponen la superación de la prueba MIR para acceder a aquélla. Superada la prueba, los programas de formación MIR a los que se accede en los diferentes hospitales y unidades docentes son relativamente homogéneos. Objetivo: Efectuar una aproximación a la validez estructural del examen MIR de la última convocatoria (2015), realizado el 6 de febrero de 2016, haciendo especial énfasis en sus aspectos medibles. Sujetos y métodos: La base de datos utilizada en el presente trabajo corresponde a las respuestas a las preguntas del examen MIR de 2015 de una muestra de 3.712 examinandos. Resultados: El índice de dificultad medio de todas las preguntas fue de 0,6882, mientras que el índice de dificultad corregido fue de 0,5422; el de discriminación, de 0,2492, y el de correlación biserial puntual, de 0,2954. También se aplicó la fórmula número 21 de Kuder-Richardson y el alfa de Cronbach, que dieron como resultado 0,9459 y 0,9579, respectivamente. Los resultados obtenidos se compararon con los de los exámenes MIR comprendidos entre las convocatorias de 1989 y de 1993. Conclusiones: A la vista de los resultados psicométricos, es posible afirmar que el examen MIR es un examen objetivo, de dificultad y discriminación adecuadas, así como estructuralmente válido

Introduction: In Spain, to practice as a medical specialist, it is required to have the certification of the appropriate medical specialty. In order to have access to a medical specialist training programme, it is mandatory to overcome the MIR test. Passed the test, MIR training programs accessed in different hospitals and teaching units are relatively homogeneous. Aim: To approach to the structural validity of the MIR examination of the last call (2015), held on February 6, 2016, with particular emphasis on those measurable aspects of it. Subjects and methods: The database used in this study corresponds to the answers to the questions of the MIR exam of 2015 of a total of 3,712 examinees. Results: The average rate of difficulty of all questions was 0.6882, while the corrected index of difficulty was 0.5422, the discrimination of 0.2492 and 0.2954 the value of the point biserial correlation. The formula number 21 of Kuder Richardson and the Cronbach’s alpha were also applied giving as results 0.9459 and 0.9579 respectively. These values were compared with those obtained for the MIR test in the range from the calls 1989 to 1993. Conclusions: In view of the psychometric results, it can be said that the examination MIR is an objective, with an adequate level of difficulty and discrimination and also structurally valid